当需要域专家来执行复杂的机器学习任务的数据注释时，减少注释工作对于缩短时间和费用至关重要。对于没有可用注释的情况，一种方法是利用特征空间的结构进行基于聚类的活动学习（AL）方法。但是，这些方法在很大程度上取决于样品在特征空间中的组织方式以及使用哪种距离度量。无监督的方法，例如对比性预测编码（CPC），可以潜在地用于学习有组织的特征空间，但是这些方法通常会产生高维特征，这对于估计数据密度可能具有挑战性。在本文中，我们将CPC和多个维度降低方法结合在一起，以搜索基于聚类的AL的功能实践。我们用于模拟语音情感识别系统部署的实验表明，该特征空间的本地和全球拓扑都可以成功用于AL，并且CPC可用于改善基于聚类的AL性能，而不是传统信号功能。此外，我们观察到，压缩数据维度并不损害AL性能，并且当注释数量不是很低时，2-D特征表示与高维表示相似。

Self-supervised learning (SSL) learns useful representations from unlabelled data by training networks to be invariant to pairs of augmented versions of the same input. Non-contrastive methods avoid collapse either by directly regularizing the covariance matrix of network outputs or through asymmetric loss architectures, two seemingly unrelated approaches. Here, by building on DirectPred, we lay out a theoretical framework that reconciles these two views. We derive analytical expressions for the representational learning dynamics in linear networks. By expressing them in the eigenspace of the embedding covariance matrix, where the solutions decouple, we reveal the mechanism and conditions that provide implicit variance regularization. These insights allow us to formulate a new isotropic loss function that equalizes eigenvalue contribution and renders learning more robust. Finally, we show empirically that our findings translate to nonlinear networks trained on CIFAR-10 and STL-10.

Given a particular embodiment, we propose a novel method (C3PO) that learns policies able to achieve any arbitrary position and pose. Such a policy would allow for easier control, and would be re-useable as a key building block for downstream tasks. The method is two-fold: First, we introduce a novel exploration algorithm that optimizes for uniform coverage, is able to discover a set of achievable states, and investigates its abilities in attaining both high coverage, and hard-to-discover states; Second, we leverage this set of achievable states as training data for a universal goal-achievement policy, a goal-based SAC variant. We demonstrate the trained policy's performance in achieving a large number of novel states. Finally, we showcase the influence of massive unsupervised training of a goal-achievement policy with state-of-the-art pose-based control of the Hopper, Walker, Halfcheetah, Humanoid and Ant embodiments.

预后和健康管理（PHM）是一个新兴领域，由于其带来的好处和效率，它引起了制造业的广泛关注。剩余的使用寿命（RUR）预测是任何PHM系统的核心。最新数据驱动的研究要求大量标记的培训数据可以在有监督的学习范式下培训表现模型之前。在这里，转移学习（TL）和域适应（DA）方法介入并使我们有可能将监督模型概括为具有不同数据分布的其他没有标记数据的其他域。在本文中，我们提出了一种基于编码的模型（变压器），该模型（变压器）具有诱导的瓶颈，使用最大平均差异（MMD）的潜在对齐，并提出了歧管学习，以解决无监督的同质域的问题适应Rul预测。 \ textit {lama-net}使用NASA使用C-Mapss Turbofan引擎数据集验证，并将其与DA的其他最新技术进行了比较。结果表明，所提出的方法提供了一种有希望的方法来在RUL预测中进行域适应。一旦纸张退出审查，将提供代码。

我们为表格数据（门）（门）提出了一种新颖的高性能，参数和计算有效的深度学习体系结构。Gate使用GRU启发的门控机制作为具有内置特征选择机制的功能表示学习单元。我们将其与一组不同的非线性决策树结合在一起，并以简单的自我注意力重新加权，以预测我们所需的输出。我们证明，通过在几个公共数据集（分类和回归）上进行实验，GATE是SOTA方法的竞争替代方法。该纸张一旦审查，该代码将立即上传。

在计算和数据方面，大型语言模型的预培训通常需要大量资源。经常使用的Web源（例如Common Crawl）可能包含足够的噪声，以使这种预训练的亚地区。在这项工作中，我们尝试了西班牙语版本的MC4的不同采样方法，并提出了一种新颖的以数据为中心的技术，我们将其命名为$ \ textit {Perplexity sampling} $，该技术可实现大约一半的语言模型的预培训步骤并使用五分之一的数据。最终的模型与当前的最新机构相当，甚至可以为某些任务获得更好的结果。我们的工作证明了变形金刚的多功能性，并为小型团队以有限的预算培训模型铺平了道路。我们的型号可在此$ \ href {https://huggingface.co/bertin-project} {url} $中获得。

软执行器为轻柔的抓握和灵活的操纵等任务提供了一种安全，适应性的方法。但是，由于可变形材料的复杂物理学，创建准确的模型来控制此类系统是具有挑战性的。准确的有限元方法（FEM）模型具有用于闭环使用的过度计算复杂性。使用可区分的模拟器是一种有吸引力的替代方案，但是它们适用于软执行器，可变形材料仍然没有被忽略。本文提出了一个结合两者优势的框架。我们学习了一个由材料属性神经网络和其余操纵任务的分析动力学模型组成的可区分模型。该物理信息模型是使用FEM生成的数据训练的，可用于闭环控制和推理。我们在介电弹性体执行器（DEA）硬币提取任务上评估我们的框架。我们模拟使用DEA使用摩擦接触，使用FEM沿着表面拉动硬币的任务，并评估物理信息模型以进行模拟，控制和推理。与FEM相比，我们的模型达到了<5％的仿真误差，我们将其用作MPC控制器的基础，MPC控制器比无模型的参与者 - 批评者，PD和启发式策略所需的迭代率更少。

本文提供了在过去十年中开发糖尿病足溃疡数据集的概念基础和程序，有一个时间线来证明进步。我们对脚踏照片的数据捕获方法进行了调查，概述了开发私立和公共数据集的研究，相关的计算机视觉任务（检测，分割和分类），糖尿病足溃疡挑战和未来发展的发展方向数据集。我们通过国家和年度报告数据集用户的分发。我们的目标是分享我们与DataSet开发的良好做法遇到的技术挑战，并为其他研究人员提供参与该域中的数据共享的动机。

Fusing satellite imagery acquired with different sensors has been a long-standing challenge of Earth observation, particularly across different modalities such as optical and Synthetic Aperture Radar (SAR) images. Here, we explore the joint analysis of imagery from different sensors in the light of representation learning: we propose to learn a joint embedding of multiple satellite sensors within a deep neural network. Our application problem is the monitoring of lake ice on Alpine lakes. To reach the temporal resolution requirement of the Swiss Global Climate Observing System (GCOS) office, we combine three image sources: Sentinel-1 SAR (S1-SAR), Terra MODIS, and Suomi-NPP VIIRS. The large gaps between the optical and SAR domains and between the sensor resolutions make this a challenging instance of the sensor fusion problem. Our approach can be classified as a late fusion that is learned in a data-driven manner. The proposed network architecture has separate encoding branches for each image sensor, which feed into a single latent embedding. I.e., a common feature representation shared by all inputs, such that subsequent processing steps deliver comparable output irrespective of which sort of input image was used. By fusing satellite data, we map lake ice at a temporal resolution of < 1.5 days. The network produces spatially explicit lake ice maps with pixel-wise accuracies > 91% (respectively, mIoU scores > 60%) and generalises well across different lakes and winters. Moreover, it sets a new state-of-the-art for determining the important ice-on and ice-off dates for the target lakes, in many cases meeting the GCOS requirement.

消耗的湖冰是气候变化指标，就像海平面上升或冰川静修一样。监测冰冰物候（LIP）是有用的，因为长期冻结和融化模式充当了哨兵，以了解区域和全球气候变化。我们报告了一项针对瑞士奥伯伦加丁地区的研究，那里有几个中小型山区湖泊。我们从光学卫星图像中观察到唇部事件，例如冻结，分手和冰盖持续时间（2000-2020）。我们通过对这些高山湖泊的湖泊冰层估算有监督的机器学习的空间分辨图来分析MODIS图像的时间序列。为了训练分类器，我们依靠基于网络摄像头图像手动注释的参考数据。从冰图中，我们得出了长期的唇部趋势。由于网络摄像头数据仅适用于两个冬季，因此我们与操作MODIS和VIIRS SNOW PRODUCTS进行了交叉检查结果。我们发现，对于湖泊和西瓦普拉纳（Lakes Sils）和Silvaplana，每年的完全冻结持续时间为-0.76和-0.89天。此外，我们观察到唇部趋势与在附近气象站测得的气候数据的合理相关性。我们注意到，平均冬季空气温度与冻结持续时间和分手事件以及与冻结事件的正相关性具有负相关性。此外，我们观察到在冬季，阳光与冻结持续时间和分手事件之间存在很强的负相关性。